ECE 587 / STA 563 : Lecture 2 – Measures of Information

2.1 Quantifying Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2.2 Entropy and Mutual Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2.2.1 Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2.2.2 Mutual Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2.3 Example: Testing for a disease . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2.4 Relative Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.3 Convexity & Concavity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.4 Data Processing Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5 Fano’s Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.6 Summary of Basic Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.7 Axiomatic Derivation of Mutual Information [Optional] . . . . . . . . . . . . . . . . 10 2.7.1 Proof of uniqueness of i(x, y) . . . . . . . . . . . . . . . . . . . . . . . . . . . 11